Theo bà Nguyễn Thị Hồng, vợ của nhạc sĩ Hoàng Trang kể lại, một lần khi hai người hẹn đi chơi vào lúc 11 giờ trưa, nhưng do gia đình có việc đột xuất, không ai trông cửa hàng nên bà phải ở lại nhà.[2] Vì không thấy người yêu mình đến, ông đã chờ cho đến 6 giờ chiều. Sau khi bà đến, bà nói rắng Từ giờ nếu như vậy thì anh cứ đi về đi, chờ lâu quá làm gì. Anh bảo hai đứa gặp nhau rất khó, nếu anh về thì đâu có gặp được nên anh cứ chờ đến khuya thì thôi.[2] Từ đó, ba bài hát Không bao giờ quên anh, Tâm sự với anh, Nếu đời không có anh ra đời.[2]

Bài hát đã được nhà xuất bản Diên Hồng xuất bản vào năm 1963, sau đó được tái bản lại rất nhiều lần.[3]